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(54) Vorrichtung und Verfahren zur digltalen Blldstabiiisierung 



(57) Die Erfindung bezieht sich auf eine hochge- 
nauedigitale Stabilisierung der Bildaufnahme mit einem 
in einem sich bewegenden oder fliegenden TrSger ein- 
gesetzten CCD-Sensor. Zur digltalen Bildstabilisierung 
werden die (Flug)Bewegungen des Trdgers mit Hilfe 



eines inertialen Drehratensensors erfaBt und gespel- 
chert. Dann wird eine Kbrrektur der Bilddaten anhand 
der erfe8ten (Flug)Bewegungen durchgefOhrt. 
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Beschreibung 

[0001 ] Die vorliegende Erfindung bezieht sich auf eine 
Vorrichtung und ein Vedahren zur digitalen Stabilisie* 
rung der Bildaufnahme mit einem in einem sIch bewe- s 
genden oder fliegenden Trager eingesetzten CCD- 
Sensor gem^B dem Gattungsbegriff des Anspruchs 1 . 
[0002] Bisher bekannte Stabilisierungen arbeiten 
nach dem elektro-nnechanischen Prinzip mit einer kar- 
danischen AufhSngung des Sensors mit Ansteuerung io 
der Stellmotoren durch einen Inertialsensor, oder es 
werden GCD-Sensoren bei Luftbildaufnahmen ohne 
Stabilislerung eingesetzt, wobei dann bei einem Zeilen- 
sensor zwischen den einzeinen Zeilen oder bei einem 
FlSchensensor zwischen den Frames eine Bildwande- is 
rung in Kauf genommen werden muB, die durch StOrbe- 
wegungen des Trdgers verursacht wird. 
[0003] Generell ist es mdglich, eine Bildstabillsierung 
an Bord oder in einer Bodenstation durchzufuhren. Im 
ersten Fall spricht man von einer „On-line-Stabilisie- 20 
rung" zur Darstellung auf einem Monitor, im zweiten Fall 
von einer „Off'line-Bildauswertung**. In der Regel wird 
bisher eine ,.On-line-Stabilisierung durchgefOhrt. Insbe- 
sondere erfolgt diese bei Fl^chensensoren in Gamcor- 
dern, wobei eine On-line-Korrektur durchgefOhrt wird 25 
und eine analoge Signalverarbeitung erfolgt. 
[0004] Beispielsweise ist es aus der EP 0 543 394 A2 
bekannt, daB fOr etnen Rdchensensor die zum Zeit- 
punkt der Belichtung auftretenden Bewegungen on-line 
in einem Frequenzbereich von 1-1 2Hz kompensiert 30 
werden. Die Korrektur erfolgt dabei durch ein optisches 
Element. Die Kortektursignale werden uber zwei Sen- 
soren, die jeweils die Winkelbeschleunigung oder die - 
geschwindigkeit messen, ermittelt. 

[0005] Weiterhin offenbart die EP 0 574 228 A1 die 35 
Ermittlung von Vibrationen in horizontaler und vertikaler 
Richtung, wobei eine On-line-Korrektur entweder durch 
Umadressierung oder das Auslesen aus Speicherregi- 
stern mit geringerer Frequenz als beim Schreiben vor- 
genommen wird. 40 
[0006] SchlieBlich ist aus der US 4 959 725 eine sehr 
aufwendige Schaltung zur Korrektur des Videosignals 
eines Fiachensensors unter Auswertung von Beschleu- 
nigungsmessern bekannt. 

[0007] Jedoch sind alle bekannten Ldsungen des 45 
Standes der Technik von ihrer Wirtschaftlichkeit her 
nicht anndhernd als optimal zu bezeichnen, da sie mit 
hohen Kosten verbunden sind. 

[0008] Der vorliegenden Erfindung liegt daher die Auf- 
gabe zugrunde. eine Vorrichtung und ein Verfahren zur so 
digitalen Bildstabillsierung zu schaffen, mit der bzw. 
dem die Bewegungseinflusse eines sich bewegenden 
Oder fliegenden Trdgers auf die Bildqualitdt eines sich 
mitbewegenden oder mitfliegenden Sensors zu gerin- 
gen Kosten kompensierbar sind, d.h. eine Korrektur von ss 
Roll- und Nickeinftiissen von Luftbildkameras mit Zei- 
lensensoren und FlSchensensoren mit mindestens 
Pixelgenauigkeit ermdglicht wird. die digital mit groBen 



Datenmengen >6000 Pixein pro Zeile und deshalb off- 
line erfolgt, und dabei wirtschaftlich ist. 
[0009] Diese Aufgabe wird durch die im Anspruch 1 
bzw. 6 angefuhrten MaBnahmen geldst. In den Unter- 
ansprOchen sind Ausgestaltungen und Weiterbildungen 
angegeben und in der nachfolgenden Beschreibung in 
Verbindung mit der Zeichnung werden bevorzugte Aus- 
fuhrungsbeispiele erldutert. 
[0010] Eszeigen: 

Rg. 1 ein Blockschaltbild einer erfindungsgemaBen 
On-Line-Stabilisierung der Bildaufnahme und 

Rg. 2 ein Blockschaltbild einer erfindungsgemdBen 
Off-Line-Stabilisierung der Bildaufnahme. 

[0011] Bei dem Verfahren bzw. der Vorrichtung zur 
digitalen Bildstabilisierung gemaB der Erfindung kann 
eine Bildstabilisierung entweder an Bord, d.h, eine On- 
Line-Stabilisierung zur Darstellung auf einem Monitor, 
Oder in einer Fest- bzw. Bodenstation, d,h, eine Off- 
Line-Bildauswertung, erfolgen. 
[0012] Figen. 1 und 2 zeigen ein Blockschaltbild einer 
erfindungsgemSBen On-Line-Stabilisierung bzw. einer 
erfindungsgemSBen Off-Line-Stabilisierung. Dabei wer- 
den die (Flug)Bewegungen des TrSgers mit Hilfe eines 
inertialen Drehratensensors 2 als Winkelinformationen 
11 erfaBt und zusammen mit den Bilddaten 10 auf 
einem Datentrdger 3 bzw. 6 zwischengespeichert oder 
aufgezeichnet. 

[001 3] Bei einer Bilddatenkorrektur werden zu einer 
Stabilislerung um die Rollachse Bildzeilen pixelweise 
um entsprechend Winkelinkremente quer zur Flugrich- 
tung verschoben, wdhrend eine Stabilislerung um die 
Nickachse durch ein Weglassen Oder Vervielfditigen 
ganzer Zeilen erfolgt. Bei einer Stabilisierungsgenauig- 
keit im Subpixelbereich wird die Bildinformation benach- 
barter Pixel in und quer zur Flugrtchtung interpoliert. 
[0014] Der inertiale Drehratensensor 2, der die Flug- 
bewegungen erfaBt, kann ein sogenannter ..Strap Down 
Sensor** sein. Bei diesem Sensor ist das Stabilisie- 
rungsergebnis im wesentlichen von der Skalierungsge- 
nauigkeit und Bandbreite des Sensors abhdngig. 
Insbesondere besitzt der Drehratensensor 2 eine endli- 
che Bandbreite, typischerweise 100Hz und liefert daher 
die erfaBten Winkelinformationen 11 zeitverzOgert. Aus 
diesem Grund kann sein Ubertragungsverhalten fOr nie- 
dere Frequenzen durch ein Totzeltglied (linerare Phase, 
d.h. Phasennacheilung proportional zur Frequenz) 
angenahert werden. 

[0015] Als Drehratensensor 2 ist beispielsweise ein 
dynamisch abgestimmter Kreisel (DAK) sehr gut geeig- 
net. Mit solchen Gerdten sind Skalierungsfehler bis 
0,1% und Bandbreiten bis 100Hz erreichbar. 
[0016] Bei einer beispielshaften Ausfuhrung eines als 
Drehratensensor 2 verwendeten dynamisch abge- 
stimmten Kreisels (DAK) betrug die PixelgrOBe des 
Sensors (dx) 12 ^m. die Brennweite eines Objektivs (f) 



2 



BNSDOCID: <CP 09481 97A2„L> 



EP 0 948 197 A2 



60mm. die Winkefausdehnung des Sensors 
( DAS=dx/f ) 0,2mrad und die Zeilenfrequenz (linerate) 
minimal 200Hz und maximal 2500 Hz. Sinusfdrmige 
StOranregungen im Bereich von 10V0.2Hz bis 
0,2*'/10Hz haben eine Drehrate von 12.5''/sec = 5 
220mrad/sec. 

[0017] Fur eine Belichtungszeit von 0.4ms erglbt sich 
dabei eine Blldverschmierung von 0.09 mrad. was 0.5 
Pixein entspricht, wdhrend sich bei einer Belichtungs- 
zeit von 5ms eine Bildverschmierung von 1,1mrad 10 
erglbt. was 5.5 Pixein entspricht. Demnach ergibt sich, 
daB be! niederen Zeilenfrequenzen eine Bildverschmie- 
rung uber mehrere Pixel in Kauf genommen werden 
muB. die dutch die nachfblgende Stabilisierung nicht 
mehr korrigiert werden kann. is 
[0018] Ein Qesamtfehler. d.h. die quadratische 
Summe aus dem Restfehler der digitalen Stabilisierung 
und der Bildverschmierung, betrdgt abhangig von der 
Zeilenfrequenz bzw. Linerate (LR) fur LR=2500Hz 
0,22mrad und fur LR=200Hz 1.12mrad. Damit ergibt 20 
sich fur den Stabilisierungsfaktor folgendes: 



Stdranregung: 


Stabilisierungsfaktor fur 
LR=2500Hz (200Hz) 


10*'/0,2Hz 
0.2V10HZ 


792(155) 
16(3) 



[001 9] Die Rechnersimulation eines dynamisch abge- 
stimmten Krelsels (DAK's) mit 100Hz Bandbreite und 
0.1% Skalierungsfehler hat weiterhin ergeben. daB fur 
sinusfOrmige StOranregungen im Bereich 10V0.2Hz bis 35 
0.2^/1 OHz der Stabilislerungsfehler des korrigierten Bil- 
des <, 0.2 mrad (Null-Spitze) ist. 
[0020] Eine digitaie Bildstabilislerung ist also dann 
sinnvoll, wenn die Frequenzen der StGranre^ng so 
gering sind, daB keine starke „Verschmierung" wahrend 40 
der Belichtungszeit auftritt. Der Nutzen der Stabilisie- 
rung kann durch den Stabilisierungsfaktor beurt^K wer- 
den, der das Amplitudenverhdttnis von Stdranregung 
und Rest-Bildbewegung ist. 

[0021] Insbesondere kdnnen auch nichtstabilisierte 45 
Sensoren durch entsprechende Module wirtschaftlich 
mit einer Vorrichtung zur digitalen Bildstabilisierung 
erweitert und damit aufgewertet werden. 
[0022] Eine erfindungsgemdBe digitaie Bildstabilisie- 
rung kann nun entweder an Bord als On-Llne-Stabilisie- so 
rung (Fig. 1) zur Darstellung auf einem Monitor 5 
erfolgen, wobei an Bord ein Drehratensensor 2 ausge- 
bildet Ist und eine Einrichtung zur Bilddatenzwischen- 
spelcherung 3 sowie eine Einrichtung zur 
Bilddatenkorrektur 4, oder als Off-Line-Stabilisierung in ss 
einer Fest- bzw. Bodenstation, wobei an Bord e(n Dreh- 
ratensensor 2 und eine zusStzliche Aufzeichnungsein- 
richtung 6 fOr Drehratensensorsignale (Winkel- 



informationen) ausgebildet sind und in der Fest- bzw. 
Bodenstation eine Einrichtung 4' zur Durchfuhrung 
einer Bildkorrektur gemaB registrierter bzw. aufgezeich- 
neter Drehratensensorsignale (Winkelformationen) 
ausgebildet ist. 

[0023] Insbesondere macht sich erf indungsgemdB die 
Vorrichtung bzw. das Verfahren zur digitalen Bildstabili- 
sierung zunutze. daB die Bildinformation zwischen- 
gespeichert Oder zeitverzdgert werden kann. Dabei 
werden zur Bildkorrektur die Bilddaten zu den aufge- 
zeichneten Winkelinformationen um ein Zeitintervail 
verzdgert, das die Zeitverzdgerung durch den Drehra- 
tensensor sowie durch Abtastung und Rechenzeit 
berOcksichtigt. 

[0024] Bei der On-Llne-Stabllisierung (an Bord des 
Trdgers). wie in Fig. 1 gezeigt. erfblgt eine Erfassung 
von Bilddaten 10 durch einen CCD-Sensor, der in 
einem sich bewegenden bzw. fliegenden Trdger einge- 
setzt ist. Diese Bilddaten 10 werden in einer Einrichtung 
3 zwischengespelchert und als zeltverzdgerte Bilddaten 
10' an eine Einrichtung zur Bilddatenkorrektur 4 ausge- 
geben. Zusdtzlich erhait die Einrichtung zur Bilddaten- 
korrektur 4 von einem Drehratensensor 2 
Winkelinformationen, die die (Flug)Bewegungen des 
TrSgers darstellen. Die Einrichtung zur Bilddatenkorrek- 
tur 4 erzeugt aus den verzdgerten Bilddaten 10' und 
den Winkelinformationen 11 ein stabilisiertes Bild 13, 
das auf einem Monitor 5 angezeigt wird, der sich eben- 
falls an Bord des Trdgers befindet. 
[0025] Bei der Off-Line-Stabilisierung, wie in Fig. 2 
gezeigt, erfolgt eine Erfassung von Bilddaten 10 durch 
einen an Bord eines sich bewegenden oder fliegenden 
TrSgers eingesetzten CCD-Sensor 2. AuBerdem ist an 
Bord des Trdgers ein Drehratensensor 2 ausgebildet, 
der die (Flug)Bewegungen des Tragers erfaBt und ent- 
sprechende Winkelinformationen 11 ausgibt. Diese 
Winkelinformationen 11 werden zusammen niit den 
Bilddaten 10 in einer Aufzeichnungseinrichtung 6 auf- 
gezeichnet. Zur Auswertung und Bilddatenkorrektur Off- 
line werden die aufgezeichneten Bildaten und Winkel- 
informationen 12 in eine Einrichtung zur Bilddatentor- 
rektur 4* in einer Fest- bzw. Bodenstation ausgegeben. 
Diese Einrichtung zur Bilddatenkorrektur 4' verzdgert 
die Bilddaten zu den aufgezeichneten Winkelinformatio- 
nen um ein Zeitintervail, das die Zeitverzdgerung durch 
den Drehratensensor sowie durch Abtastung und 
Rechenzeit berOcksichtigt. 

[0026] Somit wird durch die vorstehend eriauterten 
MaBnahmen die Problematik von unerwunschten 
Bewegungseinflussen eines sich bewegenden oder flie- 
genden Tragers auf die Bildqualitat eines sich mitbewe- 
genden oder mitfliegenden Sensors durch eine digitaie 
Stabilisierung in sehr wirtschaftlich er Weise gelOst. 
[0027] Durch eine Integration der erfindungsgemaBen 
Vorrichtung bzw. des Verfahrens in elektro-optische 
Sensorsysteme kann eine Leistungssteigerung erreicht 
werden. 
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Patentanspruche 

1. Verfahren zum digitalen Stabilisieren der Bildauf- 
nahme mit einem in einem sich bewegenden oder 
fliegenden TrSger eingesetzten CCD-Sensor (1) 
zum weitgehenden Beseitigen von unenvOnschten 
Bewegungseinflussen von (Flug)Bewegungen des 
Tragers auf die Bildqualitat des sich mitbewegen- 
den Oder mitfliegenden Sensors (1). mit den Schrit- 
ten: 

a) Erfassen eines Bilds durch einen CCD-Sen- 
sor (1) und Ausgeben von Bilddaten (10), 

b) Erfassen der (Flug)Bewegungen des Tra- 
gers mit Hilfe eines inertialen Drehratensen- 
sors (2) als Winkelinformationen (11). wobei 
der Drehratensensor (2) die Winkelinformatio- 
nen (1 1) zeitverz6gert liefert, und 

c) Korrigieren der Bilddaten (10: 10') gemSB 
erfaBter Winkelinformationen (11), wobei die 
Bilddaten (10*) zu den erfaBten Winkelinforma- 
tionen (11) um ein Zeitintervall verzCgert wer- 
den. 



2. Verfahren nach Anspruch 1, mit dem weiteren 25 
Schritt 

Zwischenspeichern der Bilddaten (10) vom 
CCD-Sensor (2) auf einem DatentrSger (3), um 
die Bilddaten (1 0) um ein Zeitintervall zu verz6- 30 
gern. 

3. Verfahren nach Anspruch 1 oder 2, wobei 

das Korrigieren als On-Line-Stabilisierung 35 
erfolgt. 

mit dem weiteren Schritt: 
d) Anzeigen der korrigierten Bilddaten als sta- 
biiisiertes Bild (13) auf einem Monitor (5) an 
Bord des Tragers. 4o 

4. Verfahren nach Anspruch 1 , mit dem Schritt: 



45 



Aufzeichnen der erfaBten Winkelinformationen 
(11) zusammen mit den Bilddaten (10) vom 
CCD-Sensor (1) auf einem Datentrftger (6). 
wobei das Korrigieren als Off-line-Bildauswer- 
tung in einer Fest- bzw. Bodenstation erfolgt. 



5. Verfahren nach einem der AnsprQche 1 bis 4, wobei so 



das Zeitintervall zur Verz6gerung die Zeitver- 
z6gerung durch den Drehratensensor (2) 
sowie durch Abtastung und Rechenzeit beruck- 
sichtigt. 



55 



6. Verfahren nach einem der AnsprQche 1 bis 5, wobei 



als Drehratensensor (2) ein ..Strap Down Sen- 
sor" eingesetzt wird. 

7- Verfahren nach einem der AnsprQche 1 bis 6, wobei 

beim Korrigieren der Bilddaten (10: 10') zum 
Stabilisieren um die Rollachse die Bildzeilen 
pixelweise um die entsprechenden Winkelin- 
kremente quer zu Flugrichtung verschoben 
werden, wahrend das Stabilisieren um die 
Nickachse durch das Weglassen oder Verviel- 
faitigen ganzer Zeilen erfolgt. 

8. Vorrichtung zur digitalen Stabilisierung der Bildauf- 
nahme mit einem in einem sich bewegenden oder 
fliegenden TrSger eingesetzten CCD-Sensor (1) 
zum weitgehenden Beseitigen von unerwunschten 
BewegungseinflQssen von (Flug)Bewegungen des 
TrSgers auf die Bildqualit&t des sich mitbewegen- 
den Oder mitfliegenden Sensors (1), mit: 

einem CCD-Sensor (1) zur Bilderfassung und 

zur Ausgabe von Bilddaten (10). 

einem inertialen Drehratensensor (2) zur Erfas- 

sung von (Flug)Bewegungen des TrSgers als 

Winkelinformationen (11), und 

einer Einrichtung zur Bilddatenkorrektur (4; 4*) 

gemSB erfaBter Winkelinformationen (11), 

wobei die Bilddaten (10; 10') zu den erfaBten 

Winkelinformationen (11) um ein Zeitintervall 

verzdgert sind. 

9. Vorrichtung nach Anspruch 1 , mit 

einer Einrichtung zur Bildatenzwischenspei- 
cherung (3)» die die Bilddaten (10) um ein Zeit- 
intervall verzagert. 

10. Vorrichtung nach Anspruch 8 oder 9. wobei 

die Einrichtung zur Bilddatenkorrektur (4) an 
Bord des Tragers ausgebildet ist und eine On- 
Line-Stabilisierung durchfOhrt und 
ein Monitor (5) an Bord des TrSgers zur 
Anzeige der korrigierten Bilddaten als stabili- 
siertes Bild (13) ausgebildet ist. 

11. Vorrichtung nach Anspruch 1, mit 

einer Einrichtung zur Aufzeichnung (6) der 
Winkelinformationen (11) vom Drehratensen- 
sor (2) zusammen mit den Bilddaten (10) an 
Bord des Trdgers. wobei 
die Einrichtung zur Bilddatenkorrektur (4') In 
einer Fest- bzw. Bodenstation ausgebildet ist 
und eine Off-Line-Bildauswertung durchfOhrt. 

12. Vorrichtung nach einem der AnsprQche 8 bis 11, 



4 



BNSDOCID- <rP 0948197A2J_> 



7 EP 0 948 197 A2 

wobei 

das Zeitintervall zur VerzOgerung die Zeitver- 
zOgerung durch den Drehratensensor sowie 
durch Abtastung und Rechenzeit berucksich- s 
tigt. 

13. Vorrichtung nach einem der AnsprQche 8 bis 12. 
wobei 

10 

der Drehratensensor (2) ein „Strap Down Sen- 
sor" ist. 

14. Vorrichtung nach einem der Anspruche 8 bis 13, 
wobei IS 

die Einrichtung zur Bilddatenkorrektur (4; 4*) 
zur digitalen Stabilisierung urn die Rollachse 
die Bildzeilen pixelweise um die entsprechen- 
den Winkelinkremente quer zu Flugrichtung 20 
verschiebt, wdhrend sie zur Stabilisierung um 
die Nickachse ganze Zeilen wegldBt oder ver- 
vielfSftigt. 

25 
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(54) Vorrichtung und Verfahren zur digitalen BildstabMlslerung 



(57) Die Erfindung bezieht sich auf eine hochge- 
naue digitale Stabilislerung der Bitdaufnahme nnit einem 
In einem sjch bewegenden oder f liegenden Trager ein- 
gesetzten CCD-Sensor. Zur digitalen Bildstabillsierung 



werden die (Flug)Bewegungen des Tragers mit Hllfe ei- 
nes inertlalen Drehratensensors erfaBt und gespel- 
chert. Dann wird eirie Korrektur der Bilddaten anhand 
der erfaBten (Fiug)Bewegungen durchgefuhrt. 
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